Cross-Space Distillation: Teaching One-Step Students with Modern Diffusion Teachers
跨空间蒸馏：用现代扩散教师训练单步学生模型
🧭 扩散模型蒸馏 · 跨空间对齐
Qualcomm AI Research · University of Wisconsin–Madison · Johns Hopkins University · Rutgers University
提出 Bridge 模块实现跨潜空间蒸馏，让高分辨率大教师模型蒸馏到不兼容的低分辨率学生模型
📌 工作参考价值（4 点）
- 若业务中需要将不同隐空间的大模型（如高维语义 ID 生成教师）蒸馏到低维学生，可借鉴 Bridge 的设计：冻结学生解码器作为空间先验 + 小型可学习投影器，避免改动学生主干。
- 训练稳定技巧：使用潜在重建损失与注意力保真度目标对齐教师空间，可复用到多模态 embedding 对齐场景（如视觉-文本语义空间映射）。
- 工程上，Bridge 模块参数少、推理时即插即用，适合在移动端或边缘部署场景中，用大模型离线蒸馏、小模型在线推理的架构。
- 这篇工作集中在图像生成，对电商搜索推荐系统的直接迁移价值有限；但其“跨空间知识迁移”的思路可启发异构推荐模型（如双塔 vs 多塔）之间的知识蒸馏设计。